最近提出的一类模型试图使用哈密顿力学所通知的前沿，从高维观察中学习潜在动态的潜在动态。虽然这些模型在机器人或自主驾驶等领域具有重要潜在应用，但目前没有好方法来评估它们的性能：现有方法主要依赖于图像重建质量，这并不总是反映学习潜在动态的质量。在这项工作中，我们经验突出了现有措施的问题，并制定了一套新措施，包括依赖母亲哈密顿动态的二进制指标，我们称之为符号度量或次称。我们的措施利用了汉密尔顿动态的已知属性，并且更符合模型捕获潜在动态的能力而不是重建误差。使用Symetric，我们识别一组架构选择，可以显着提高先前提出的模型的性能，用于从像素，Hamiltonian生成网络（HGN）从像素推断潜在动态。与原始HGN不同，新的HGN ++能够在某些数据集中发现具有物理有意义的潜伏的可解释的相位空间。此外，它在不同范围的13个数据集上的卷展栏上是稳定的，在一个不同的13个数据集上产生基本上无限长度的卷展栏，在数据集的子集上没有质量下降。

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

This project leverages advances in multi-agent reinforcement learning (MARL) to improve the efficiency and flexibility of order-picking systems for commercial warehouses. We envision a warehouse of the future in which dozens of mobile robots and human pickers work together to collect and deliver items within the warehouse. The fundamental problem we tackle, called the order-picking problem, is how these worker agents must coordinate their movement and actions in the warehouse to maximise performance (e.g. order throughput) under given resource constraints. Established industry methods using heuristic approaches require large engineering efforts to optimise for innately variable warehouse configurations. In contrast, the MARL framework can be flexibly applied to any warehouse configuration (e.g. size, layout, number/types of workers, item replenishment frequency) and the agents learn via a process of trial-and-error how to optimally cooperate with one another. This paper details the current status of the R&D effort initiated by Dematic and the University of Edinburgh towards a general-purpose and scalable MARL solution for the order-picking problem in realistic warehouses.

A lot of theoretical and empirical evidence shows that the flatter local minima tend to improve generalization. Adversarial Weight Perturbation (AWP) is an emerging technique to efficiently and effectively find such minima. In AWP we minimize the loss w.r.t. a bounded worst-case perturbation of the model parameters thereby favoring local minima with a small loss in a neighborhood around them. The benefits of AWP, and more generally the connections between flatness and generalization, have been extensively studied for i.i.d. data such as images. In this paper, we extensively study this phenomenon for graph data. Along the way, we first derive a generalization bound for non-i.i.d. node classification tasks. Then we identify a vanishing-gradient issue with all existing formulations of AWP and we propose a new Weighted Truncated AWP (WT-AWP) to alleviate this issue. We show that regularizing graph neural networks with WT-AWP consistently improves both natural and robust generalization across many different graph learning tasks and models.

Humans intuitively solve tasks in versatile ways, varying their behavior in terms of trajectory-based planning and for individual steps. Thus, they can easily generalize and adapt to new and changing environments. Current Imitation Learning algorithms often only consider unimodal expert demonstrations and act in a state-action-based setting, making it difficult for them to imitate human behavior in case of versatile demonstrations. Instead, we combine a mixture of movement primitives with a distribution matching objective to learn versatile behaviors that match the expert's behavior and versatility. To facilitate generalization to novel task configurations, we do not directly match the agent's and expert's trajectory distributions but rather work with concise geometric descriptors which generalize well to unseen task configurations. We empirically validate our method on various robot tasks using versatile human demonstrations and compare to imitation learning algorithms in a state-action setting as well as a trajectory-based setting. We find that the geometric descriptors greatly help in generalizing to new task configurations and that combining them with our distribution-matching objective is crucial for representing and reproducing versatile behavior.

我们提出了一种在异质环境中联合学习的沟通有效方法。在存在$ k $不同的数据分布的情况下，系统异质性反映了，每个用户仅从$ k $分布中的一个中采样数据。所提出的方法只需要在用户和服务器之间进行一次通信，从而大大降低了通信成本。此外，提出的方法通过在样本量方面实现最佳的于点错误（MSE）率，即在异质环境中提供强大的学习保证相同的数据分布，前提是，每个用户的数据点数量高于我们从系统参数方面明确表征的阈值。值得注意的是，这是可以实现的，而无需任何了解基础分布，甚至不需要任何分布数量$ k $。数值实验说明了我们的发现并强调了所提出的方法的性能。

在过去的二十年中，我们目睹了以图形或网络形式构建的有价值的大数据的大幅增长。为了将传统的机器学习和数据分析技术应用于此类数据，有必要将图形转换为基于矢量的表示，以保留图形最重要的结构属性。为此，文献中已经提出了大量的图形嵌入方法。它们中的大多数产生了适用于各种应用的通用嵌入，例如节点聚类，节点分类，图形可视化和链接预测。在本文中，我们提出了两个新的图形嵌入算法，这些算法是基于专门为节点分类问题设计的随机步道。已设计算法的随机步行采样策略旨在特别注意集线器 - 高度节点，这些节点在大规模图中具有最关键的作用。通过分析对现实世界网络嵌入的三种分类算法的分类性能，对所提出的方法进行实验评估。获得的结果表明，与当前最流行的随机步行方法相比，我们的方法可大大提高所检查分类器的预测能力（NODE2VEC）。

组织病理学图像合成的现有深网无法为聚类核生成准确的边界，并且无法输出与不同器官一致的图像样式。为了解决这些问题，我们提出了一种样式引导的实例自适应标准化（SIAN），以合成不同器官的逼真的颜色分布和纹理。 Sian包含四个阶段：语义，风格化，实例化和调制。这四个阶段共同起作用，并集成到生成网络中，以嵌入图像语义，样式和实例级级边界。实验结果证明了所有组件在Sian中的有效性，并表明所提出的方法比使用Frechet Inception Inception距离（FID），结构相似性指数（SSIM），检测质量胜过组织病理学图像合成的最新条件gan。 （DQ），分割质量（SQ）和圆锥体质量（PQ）。此外，通过合并使用Sian产生的合成图像，可以显着改善分割网络的性能。

我们介绍了一种基于约翰逊·林登斯特劳斯引理的统计查询的新方法，以释放具有差异隐私的统计查询的答案。关键的想法是随机投影查询答案，以较低的维空间，以便将可行的查询答案的任何两个向量之间的距离保留到添加性错误。然后，我们使用简单的噪声机制回答投影的查询，并将答案提升到原始维度。使用这种方法，我们首次给出了纯粹的私人机制，具有最佳情况下的最佳情况样本复杂性，在平均错误下，以回答$ n $ $ n $的宇宙的$ k $ Queries的工作量。作为其他应用，我们给出了具有最佳样品复杂性的第一个纯私人有效机制，用于计算有限的高维分布的协方差，并用于回答2向边缘查询。我们还表明，直到对错误的依赖性，我们机制的变体对于每个给定的查询工作负载几乎是最佳的。

强化学习者必须推广其培训经验。先前的工作主要集中在相同的培训和评估环境上。从最近引入的Crafter Benchmark（一个2D开放世界生存游戏）开始，我们引入了一套新的环境，适合评估某些代理商对以前看不见的（数量）对象的概括并快速适应（元学习）的能力。在Crafter中，通过培训1M步骤时，通过未锁定成就（例如收集资源）来评估代理商。我们表明，当前的代理商努力概括，并引入新颖的以对象为中心的代理，从而改善了强大的基准。我们还通过多个实验为未来在手工艺品上的工作提供了一般兴趣的关键见解。我们表明，仔细的超参数调整可以通过大幅度提高PPO基线代理，即使是前馈代理也可以通过依靠库存显示来解锁所有成就。我们在原始的手工环境中实现了新的最新性能。此外，当经过100万步的​​培训时，我们的调整代理几乎可以解锁所有成就。我们表明，即使删除了库存信息，复发性PPO代理也比进发料剂改进了。我们介绍Crafterood，这是一组15个新的环境，可以评估OOD概括。在Crafterood上，我们表明目前的代理无法概括，而我们的新颖中心的代理人实现了最新的OOD概括，同时也可以解释。我们的代码是公开的。